정확성의 실패
고차 다항식은 모든 데이터 포인트에 도달할 수 있지만, 종종 '룬게 유사'한 진동을 일으킵니다. 이러한 극단적인 진동은 실제 물리적 과정과 전혀 관련이 없습니다. 따라서 근사 함수가 데이터와 정확히 일치해야 한다고 요구하는 것은 합리적이지 않습니다특히 측정값이 변동성을 포함할 경우 더욱 그렇습니다.
'최적' 피팅 정의하기: 세 가지 노름
근사하려면 오차 함수 $E$를 정의해야 합니다. '근접함'을 어떻게 측정하느냐에 따라 결과는 완전히 달라집니다:
최대 가능한 오차를 최소화하려는 시도:
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
단점: 최소극대 접근법은 잘못된 데이터 일부에 대해 지나치게 큰 가중치를 부여하는 경향이 있습니다.
절대 차이의 합:
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
단점: 절댓값 함수는 원점에서 미분 가능하지 않으며, 이 두 방정식의 해를 해석적으로 구할 수 없을 수도 있습니다.
수치 해석의 기준이며 잔차를 제곱하는 것:
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
이는 미적분학이 전역 최소값을 쉽게 찾을 수 있는 매끄럽고 미분 가능한 표면을 만듭니다.
해석적 제약 조건
측정 기준을 선택하는 것은 논리와 미적분학의 균형입니다. 예를 들어, 절대 편차 방법은 근사와 크게 어긋난 점에 충분한 가중치를 주지 않지만, $L_2$는 하나의 이상한 데이터 포인트에 의해 완전히 좌우되지 않으면서 큰 이상치를 효과적으로 처벌하는 견고한 중간 지점을 제공합니다.